大模型从零开始(三) 蒙混过关
阅读提示/免责声明
🤐实际上,本文最开始是面经分享,但是实际上基本都是个人项目相关内容,脱敏后等于所剩无几了。所以就改成随便写写经验,或者说感受了。
🕊️本文涉及的所有内容均来自于作者个人体验,如有不符,纯属林子大了什么鸟都有。选择大于努力,坚定守住,就有办法。
选岗
由于各家公司会起各种乱七八糟天花乱坠的名字来招聘,那么大多数时候还是需要根据 JD 具体情况具体分析,以下仅介绍一些普遍情况:
- 核心组基座/预训练算法:普通人一般很难进,学历实习和论文都得是 TOP 级的,最卷的岗位,另外数学功底要求也比较高,未来可能还需要对硬件优化有一定理解,进而设计更相得益彰的模型。
- 大模型研究/智能体/后训练算法:最符合字面意思的大模型算法岗,上限高下限低,可能做一些新方案探索直接起飞,也可能遇到卡少靠调 prompt 的组建议及时止损,目前的普遍情况是做监督微调和后训练调优(SFT+RL)。
- 大模型应用算法/AI 搜索/生成式推荐:一般来说叫大模型应用的岗都是在搜推广组做大模型方向的探索(至少某福报和某袋鼠厂都是这样),所以其实最适合同时具备一些大模型和搜广推的经历/知识,但是两个都不算特别突出的选手。
- 多模态大模型算法/语音大模型算法/AIGC 算法:强相关经历需求,没有做过沾边的项目基本很难过面试,适合传统 CV 方向选手转行。
- 大模型训练/推理引擎:Infra 岗,同样是强相关经历需求,hc 相对算法少很多,但是方差明显更大,对于普通人存在一定的沉没成本,对于有相关经历且喜欢这个方向的选手适合去冲人才计划。
- Agent 开发/大模型开发:一般被划归为开发序列,干的事情很多时候和 LangChain、LangGraph 一类的差不多,也包含搭建 workflow、实现 MCP 等,有的组也会涉及模型训练,但是都模型训练了建议还是争取去算法序列多赚点钱。
- 代码/医疗/企业智能/法律大模型算法:领域大模型,很多时候赛道容易走窄了,受公司战略变化影响很大或者躺平型业务(业务躺,不代表一定不卷),也是拿不到其它大模型算法 offer 时的权宜之策。
- 大模型安全/智能审核:一般有两种情况,一种是针对大模型本身的安全问题,另一种是用大模型来承接安全需求(智能审核)。如果是前者,那么安全的经验很重要,很多时候也比较需要攻防对抗和容灾管理,整体技术含金量还是不错的。如果是后者,只能说降本收益确实还行,但是技术含金量可能比较低,需要人工观察非常大量的 case,并且容易在事故中被献祭。
- 大模型数据算法:数据民工,OKR 故事不太好讲,干的活也比较牛马,仔细看看 JD 不要上当了,而且至少在某互联网金融厂这个岗算测试岗序列。
- 大模型评测算法:用大模型来代替传统人工评测或者评测算法团队的模型质量,本质上就是测试岗,警惕入坑。
笔试
一般情况下,是大杂烩选择题(机器学习、深度学习/大模型、数据结构、线性代数等)和算法题,对于大模型算法,基本必定包含一道模拟传统机器学习相关的题目(numpy)。
不过笔试基本不会卡很严格,本人基本很少写对那道机器学习模拟的题目,印象里也没有挂过笔试。业务部门的逻辑一般还是看简历,笔试达到公司的基本及格线就行了。
技术面
- 最重要的还是项目,项目有的聊才能控制在候选人的舒适区,否则问八股和场景题(尤其是场景题)就很折磨且很容易挂了。
- 手撕代码除了个别厂以外,熟练掌握 hot100 就够用了,非数据结构算法题以外基本只需要熟悉 self-attention 及其各种常用变体。当然,在越来越卷的大环境下,被考到了 shuffle 实现、蓄水池采样、RoPE、GRPO Loss 之类的也不要奇怪。
- 如果面试官开始就介绍了自己部门的业务,在没话聊/最后反问的时候可以把自己的经历往他们部门业务上面套,讨论一些普遍存在但是没有万能解法的问题。
- 能够用尽可能精简的语言让一个完全不懂的人快速理解自己项目的场景和可能存在的难点。
- 想清楚为什么要做这个场景,虽然这一般不是你能决定的。
- 想清楚为什么这个场景需要引入大模型。
- 想清楚为什么选择了这个/这些大模型。
- 想清楚为什么要用监督微调,为什么要用 RL。
- 想清楚结果涨点的原因,熟悉自己的结果评测方案。
- 准备至少两篇最新的论文(最好不是机器之心量子位新智元在头条发过的),能够快速讲出 reasonable 的创新点。
- 熟悉热门大模型的底层架构及设计理念。
- 尽可能把面试比较密集地安排,以战养战是上上策。
HR 面/大老板面
- 真诚谦逊皮实乐观是必杀技。
- 能够通俗地讲清楚项目干了啥,怎么解决难点的。
- 职业规划/实习想获得什么,尽可能和部门的业务 match 一些。
- 想清楚不垂直经历怎么解释(例如非科班、开发转算法)。
- 传统问题准备一下,优缺点、最大困难及解决、兴趣爱好。
- 反问团队构成,包括但不限于纯算法组/算法同学占比、校招生/正式工/实习生比例等。
- 不建议询问工作强度,问了也没用还留个婉拒奋斗的坏印象。
- 自我介绍相比技术面可以偏多元一点。
- 想清楚为什么不走学术路线/坚定走这个技术方向。
- 通过之前面试反问提前了解岗位 base 地,规避踩雷。
- 有在等其它心仪 offer 流程的情况下不建议反问出结果时间,对面可能理解为在催流程。